O Fracasso da Exatidão
Embora um polinômio de alto grau possa passar por todos os pontos de dados, ele frequentemente gera oscilações do tipo "Runge". Essas oscilações violentas não têm relação alguma com o processo físico subjacente. Portanto, é irracional exigir que a função de aproximação concorde exatamente com os dados, especialmente quando as medições estão sujeitas a variação.
Definindo o 'Melhor' Ajuste: As Três Normas
Para aproximar, devemos definir uma função de erro $E$. Como medimos a "proximidade" altera completamente o resultado:
Buscando minimizar o erro máximo possível:
$$E_{\infty}(a_0, a_1) = \max_{1 \le i \le n} \{|y_i - (a_1 x_i + a_0)|\}$$
Armadilha: A abordagem minimax geralmente dá muito peso a um dado incorreto.
A soma das diferenças absolutas:
$$E_1(a_0, a_1) = \sum_{i=1}^{n} |y_i - (a_1 x_i + a_0)|$$
Armadilha: A função valor absoluto não é diferenciável em zero, e talvez não consigamos encontrar soluções analíticas para esse par de equações.
O padrão na análise numérica, quadrando os resíduos:
$$E_2(a_0, a_1) = \sum_{i=1}^{n} [y_i - (a_1 x_i + a_0)]^2$$
Isso cria uma superfície suave e diferenciável onde o cálculo pode encontrar facilmente um mínimo global.
Restrições Analíticas
Escolher uma métrica é um equilíbrio entre lógica e cálculo. Por exemplo, o método de desvio absoluto não dá peso suficiente a um ponto que está muito distante da aproximação, enquanto o $L_2$ oferece um meio-termo sólido que penaliza grandes outliers sem ser totalmente governado por um único dado fora de lugar.